干货|低成本的虚拟现实混合直播MR视频终于破茧而出了...
看到这个标题就热血沸腾了吧，继之前写的第一篇关于如何低成本打造虚拟演播室直播MR视频的文章后，每天星佳的邮件和微博，微信后台都有各种关于MR视频拍摄技术的咨询和交流，除此之外还有很多压根连文章都没仔细实验步骤的懒癌患者们直接上来要工具要成果要分享经验（你拿点真情实意也好，不然直接就来真金白银多好，鄙视这类企图不劳而获的懒癌患者们！！），于是本宫只能对那类人表示免疫了，而星佳更高兴的是有机会可以和那些拿资源和耐心诚意来谈线下店和线下推广活动的合作伙伴，和仔仔细细用心按照教程操作了的朋友彼此切磋，改善流程的耐心交流....
如果你还没有看过那篇"处心积虑"和团队小伙伴们研发的MR教程，务必点进来看看我们辛苦熬了很久做出来的成果哦：
附上番外篇，几个月前关于全景视频直播的技术分享，当然最近又有新的进展了会在时机成熟后分享部分非核心技术内容（废话，核心都分享给你了怎么赚钱，养活研究团队呢？），我们很明显的可以看到直播巨头也在全景直播的技术上开始花功夫了，比如斗鱼已经在内测全景视频直播了哦，当然花椒也在努力走全民全景直播的路子，我们拭目以待巨头能早日支持新技术，给我们带来新的可能....
好吧，太久没写东西，难免会啰啰嗦嗦，接下来进入干货时间，在此之前星佳还需要再苦口婆心的给大家解释下到底什么才是真正的MR实时视频，那些说美国大片的绿幕抠像，CG合成，AE后期处理什么的不再本文讨论范围，虽然实现在目前的成熟技术水平来看也不是太难的事情，但再看看MR成果视频里的透视关系，看看实体手柄和虚拟世界物体的实时互动，如果你真的觉得很容易，星佳只能说你太年轻了.....
https://v.qq.com/txp/iframe/player.html?vid=s0311urlhq7&width=500&height=375&auto=0
官方惊艳的宣传片，至今都是MR视频大作
回想起星佳第一次看到官方的宣传视频，之后知道这玩意儿叫MR虚拟现实混合视频，之后和HTC官方工作人员联系，搞了个微信群，之后认识了圈内的很多低调的大牛们一起研究（致敬感谢VrPlay的老潘，上海的蓝色月光，台湾微星的朋友，脉轮，网红何悠悠，强氧科技的Seven等等圈内低调的大牛，以后多多照顾星佳哈，O(∩_∩)O）。
说起来好笑，起初还找了个拍电影的朋友信誓旦旦的就要做"抠像"，too young too native的星佳觉得有个绿幕+摄像机+HTC Vive就可以轻松解决，万万没想到，居然搞了这么久才折腾出来拿得出手的成果....
什么是MR（Mixed Reality）视频？
Mixed Reality视频就是VR影像+人的影像合成的视频。相比普通录制电脑屏幕游戏画面和游戏者录像实拍分屏显示的假VR视频,Mixed Reality视频更适合用来做游戏直播和制作虚拟现实应用宣传视频，比如著名的google tilt bursh绘画程序(请点击查看如下视频，其实星佳正在努力的方向就是实现以后所有虚拟现实应用让他人看来能够有身临其境的宣传视频和直播)。
不得不说下面 48 31648 48 15275 0 0 2052 0 0:00:15 0:00:07 0:00:08 3182这两种经常在直播平台所谓的VR直播里出现的抠像画面不得不让人质疑，随便搞个绿屏这样做的VR直播有什么意义呢？真的可以给消费者们普及『万能的虚拟现实』吗？只会更雾里看花.....
体验者根本没有同步映射出现在游戏画面里，而只看游戏画面旁观者根本不明白到底游戏者在干嘛，对不对？
再来看看google给tile brush应用做的MR宣传视频，很赞对不对？
https://v.qq.com/txp/iframe/player.html?vid=g03119cold1&width=500&height=375&auto=0
这才是真正的MR视频，很酷是不是？还好，星佳和他的团队小伙伴们已经实现了哦，注意看手柄的映射，真实物理空间的人物比例，虚拟应用里场景的透视，画面遮挡关系哦。
所以，我们来看看星佳团队的成果呗（请忽略因场地和资金造成的穿帮）：
https://v.qq.com/txp/iframe/player.html?vid=j0313sceedw&width=500&height=375&auto=0
接下来说说此次探索MR视频的一些感触：
1. 实现方案（详情操作过程请查阅上篇文档）：
硬件部分：至少5*5的绿幕和均匀布光，佳能单反或者罗技摄像头，第三只HTC手柄，USB延长线和支架。
软件部分：首先需要开源软件OBS做图层合成和直播功能，配合若干Unity引擎开发的适配固定视角的虚拟现实内容即可成功的开启四分屏模式（需要调整了很久的cfg配置参数文件在内容根目录下的帮助），
2. 还需要完善的一些地方：
①由于穷苦星佳的办公室地方限制，导致绿幕空间达不到理想标准，而灯光也因为确实穷所以买不起贵的而打的并不均匀，由此造成了成果视频里抠图的不干净和穿帮，在此只想呼吁土豪赞助足够绿和足够大的场地让我们发挥才华呗，万一帮有眼光的土豪投资人赚到钱也说不定呢，随便想想无数线下体验店都需要MR视频帮忙揽客也是个好生意，有木有？
②我们正在探索移动机位的可能性，一方面是由于场地小，除此之外移动相机和绑在上面的第三只映射手柄不得不再采购一套巨贵的斯坦尼康，所以移动镜头的解决方案不得不暂时搁浅了，但是如上面成果视频的固定机位已经很酷了是不是？当然目前能够支持多机位和移动的虚拟摄像机的内容也没有几款，欢迎推荐给星佳来测试哦。
③此种方法目前还只适用于Unity引擎开发的游戏，大家都在等UE4引擎给出和SteamVR底层的接口，而经过尝试可以在某些游戏上搞出来四分屏，换句话说，能成功弄出来四分屏也就离成功确实不远了，可惜的是，缺乏足够技术能力的星佳团队在底层接口这方面不得不继续埋头苦干，希望能找到业内乐意合作的前辈们一起做一款集成傻瓜式的软件，最大程度的解放MR技术在配置参数上的种种麻烦。除此之外，眼前的当务之急是寻找一款比OBS更好用的专业软件，在实时抠像和图层叠加，分辨率损失上都可以做的更好，如果这方面你有好的经验欢迎分享给星佳哦。好吧，其实还缺一款支持4K分辨率的分屏显示器....
④目前很多游戏应用内置的虚拟摄像机并不支持移动，换句话说，我们真的很希望以后虚拟现实游戏应用开发者可以直接在开发的时候就规划好虚拟摄像机，甚至可以考虑直接内置多机位的虚拟摄像机，方便在做MR视频和直播的时候一键切换最优质的视野和观看角度。
⑤说到底还是穷，所以也就没办法谈情怀，我们一方面希望Unity和UE4官方可以尽早开放MR底层的接口，也可以给广大的虚拟现实内容开发者给一些相关MR虚拟摄像机开发的DEMO工程文件学习，和很多像星佳这样行业内第一批的吃螃蟹的从业者们一起把虚拟现实更早更全面完整的普及到寻常百姓家。
⑥希望有土豪可以看得到我们正在做的这件事上的价值，当然也欢迎各种大腿的合作，比如感谢腾讯科技的苏大大，淘宝购物节的线下活动MR展示邀约，还有连锁加盟店的线下MR展示区技术支持等的商业合作，为了给接下来还会投入巨大的研究经费给予力所能及的支持。
聊了那么多，我们再来谈谈情怀....
星佳说：
至于为何花这么大的精力去研究MR虚拟现实混合视频的制作技术，懂的人应该不言而喻，尤其是对那些已经开了线下体验馆的老板们肯定更能明白其中的商业价值，除了可以节省每个新玩家的教学时间外，也可以给路过的旁观者一个很好的实时演示画面，让他们看到后就明白这群戴着眼镜，拿着手柄走来走去的人到底在干吗？
除此之外帮各种丰富的行业商业应用带来更多新的可能，比如老师在虚拟内容环境里的真人教学，多人身临其境的互动展示，科普内容等行业应用会因此改变的展现方式会更友好。
当然目前最能短平快赚钱的无非还是直播领域，和Steam，Viveport等分发平台上的游戏介绍视频制作业务，毕竟作为从业者我们有责任要给那些玩腻了山寨眼镜盒子后吐槽虚拟现实无用的他们一个看得见的理由，通过大量优质的玩家自制MR视频试图去说服那些悲观者去购买一款真正的虚拟现实设备，去体验真正的虚拟现实，而不是几百块的山寨盒子。
最后想说，作为国内最早从业虚拟现实的行业从业者，我们应该抱团成长，把这个市场做的足够大，把虚拟现实给圈内人带来的惊喜让更多行外的朋友们实实在在的了解，也希望媒体朋友们不要道听途说，真正体会过真正的虚拟现实再去写一些文章去传播。
拿星佳的经验来说，一套跑得起HTC Vive的主机和电脑根本不像你们写的那些动辄数万元，6888元的HTCVive消费者版本+4000元配置的电脑主机足矣（星佳团队穷苦的研究员不到4000块DIY个主机，i5+GTX960的低配足矣体验虚拟现实了）。
有点啰嗦了，但都是内心真实的写照，从宁夏这个小地方做虚拟现实起步真的很困难，不过还好我们依然踏踏实实的在做着促进行业成长的一些力所能及的小事情，所以每次去北上广都很希望能得到去业内顶尖公司拜访的机会，而HTC官方给予了巨大的支持，在此特别感谢HTC北京总部的朋友们。
15号又要去北京学习了，参加Kat Walk的发布会，相信这款国内团队自主研发虚拟现实外设：全向跑步机，会给业内带来很大的惊喜，让老美也赞叹不已。
如果您在北京对于虚拟现实有些成果想和星佳一起交流的话，欢迎联系人家哦：
微博@星佳是个小人物
微信：xingjia10086
关于MR技术方面的问题请直接在文章下方留言，或者关注微博和邮件沟通哈，晚安。